Ông sinh ngày 14 tháng 2 năm 1922 tại Sài Gòn, nguyên quán Vĩnh Long, (có tài liệu là Bến Tre[1]) trong một gia đình Công giáo toàn tòng. Cha ông là Adrian Phạm Ngọc Thuần một địa chủ lớn có quốc tịch Pháp. Ông Adrian Phạm Ngọc Thuần có tới hơn 4000 mẫu đất và gần 1000 căn nhà rải rác ở khắp các tỉnh Cần Thơ, Châu Đốc, Long Xuyên, Rạch Giá, Sa Đéc, Vĩnh Long. Ông Thuần có quốc tịch Pháp nên các con đều được sang Pháp học.

Phạm Ngọc Thảo còn có tên là Albert Phạm Ngọc Thảo, còn gọi là Albert Thảo. Mọi người thường gọi là Chín Thảo vì ông được sinh thứ 9 trong gia đình.

Lúc nhỏ ông học một trường tư thục Công giáo nổi tiếng ở Sài gòn đó là trường Lasan Taberd[1] (Có tài liệu nói học trường Chasseloup Laubat- ngày nay là trường THPT Lê Quý Đôn). Khi học xong tú tài, khác với các anh em khác, ông không sang Pháp du học (do Chiến tranh thế giới thứ hai xảy ra) mà ra Hà Nội theo học trường Kỹ sư Công chính Hà Nội.